Sam Lantinga là người tạo ra thư viện này vào năm 1998, lúc ông còn làm cho hãng Loki Software. Ông nảy ra ý định này khi mang các chương trình Windows vào môi trường Macintosh. Sau đó ông dùng thư viện này để đem chương trình giải trí Doom sang hệ điều hành BeOS (Xem mã nguồn của chương trình Doom). Một vài thư viện tự do khác như SMPEG và OpenAL có thể hoạt động chung với SDL.

SDL được chia thành nhiều hệ thống con (subsystem) như: Video, Audio, CD-ROM, Joystick và Timer. Bên cạnh những hệ thống con cơ bản này, do đây là thư viện cấp thấp, còn có một số thư viện chính thức riêng biệt, cung cấp các chức năng khác. Bao gồm:

• SDL_image: cung cấp các hàm để đọc các định dạng ảnh phổ biến ngày nay như: JPEG, PNG, BMP...
• SDL_mixer: các hàm audio dùng để hòa âm (mixing) hay đọc các tập tin âm thanh hay nhạc như: WAV, OGG, MP3
• SDL_net: hỗ trợ lập trình mạng đa hệ điều hành
• SDL_ttf: hỗ trợ hiển thị các phông chữ TTF (true type font)
• SDL_rtf: hỗ trợ hiển thị định dạng RTF đơn giản